適合率 (Precision)
検索結果の中で、実際に関連しているドキュメントがどれくらい含まれていたか
どれだけ検索ノイズが少ないか
基本的に、高い方が良い
式
$ \text{precision}=\frac{|\text{res} \cap \text{rel}|}{|\text{res}|}
$ \text{precision}_{@k}=\frac{|\text{res}_{@k} \cap \text{rel}|}{|k|}
高くすることが向いているケース
ユーザがすぐ使える情報を求めている場合(ファクト検索、FAQなど)
検索結果がそのまま画面に表示されてユーザーに見える場合
ノイズが混ざるとUXが大きく悪化するようなケース
高い場合のpros
ユーザが欲しかった情報ばかりが上位に表示されている
高い場合のcons
関連してるかも?というグレーなものを除外しがち
セレンディピティ的なものがない